Visual language such as charts and plots is ubiquitous in the human world. Comprehending plots and charts requires strong reasoning skills. Prior state-of-the-art (SOTA) models require at least tens of thousands of training examples and their reasoning capabilities are still much limited, especially on complex human-written queries. This paper presents the first one-shot solution to visual language reasoning. We decompose the challenge of visual language reasoning into two steps: (1) plot-to-text translation, and (2) reasoning over the translated text. The key in this method is a modality conversion module, named as DePlot, which translates the image of a plot or chart to a linearized table. The output of DePlot can then be directly used to prompt a pretrained large language model (LLM), exploiting the few-shot reasoning capabilities of LLMs. To obtain DePlot, we standardize the plot-to-table task by establishing unified task formats and metrics, and train DePlot end-to-end on this task. DePlot can then be used off-the-shelf together with LLMs in a plug-and-play fashion. Compared with a SOTA model finetuned on more than >28k data points, DePlot+LLM with just one-shot prompting achieves a 24.0% improvement over finetuned SOTA on human-written queries from the task of chart QA.

Visual language data such as plots, charts, and infographics are ubiquitous in the human world. However, state-of-the-art vision-language models do not perform well on these data. We propose MatCha (Math reasoning and Chart derendering pretraining) to enhance visual language models' capabilities in jointly modeling charts/plots and language data. Specifically, we propose several pretraining tasks that cover plot deconstruction and numerical reasoning which are the key capabilities in visual language modeling. We perform the MatCha pretraining starting from Pix2Struct, a recently proposed image-to-text visual language model. On standard benchmarks such as PlotQA and ChartQA, the MatCha model outperforms state-of-the-art methods by as much as nearly 20%. We also examine how well MatCha pretraining transfers to domains such as screenshots, textbook diagrams, and document figures and observe overall improvement, verifying the usefulness of MatCha pretraining on broader visual language tasks.

深度神经网络（DNNS）和数据集的增长不断上升，这激发了对同时选择和培训的有效解决方案的需求。许多迭代学习者的高参数优化方法（HPO）的许多方法，包括DNNS试图通过查询和学习响应表面来解决该问题的最佳表面来解决此问题。但是，这些方法中的许多方法都会产生近视疑问，不考虑有关响应结构的先验知识和/或执行偏见的成本感知搜索，当指定总成本预算时，所有这些都会加剧识别表现最好的模型。本文提出了一种新颖的方法，称为迭代学习者（BAPI），以在成本预算有限的情况下解决HPO问题。 BAPI是一种有效的非洋流贝叶斯优化解决方案，可以说明预算，并利用有关目标功能和成本功能的先验知识来选择更好的配置，并在评估期间（培训）做出更明智的决策。针对迭代学习者的不同HPO基准测试的实验表明，在大多数情况下，BAPI的性能比最先进的基线表现更好。

我们在JAX中写入了一个用于分布式矩阵分解的开源库，用于分布式矩阵分解。我们的设计允许通过缩放可用TPU核心的数量来有效地利用TPU架构并缩放到O（B）行/列的矩阵分解问题。为了使未来的大规模矩阵分解方法研究以及说明我们自己实现的可扩展性属性，我们还建立了一个名为WebGraph的真实网络链路预测数据集。该数据集可以很容易地建模为矩阵分解问题。我们基于子图的局部性和稀疏性属性创建了此数据集的多个变体。WebGraph的最大变体有大约365米的节点，并在大约20分钟内训练单个时期饰面，256个TPU核心。我们包括在所有WebGraph的所有变体上的ALX的速度和性能编号。框架代码和数据集都是开放的。

优化昂贵以评估黑盒功能在包含D对象的所有排列中的输入空间是许多真实应用的重要问题。例如，在硬件设计中放置功能块以通过仿真优化性能。总体目标是最小化函数评估的数量，以找到高性能的排列。使用贝叶斯优化（BO）框架解决这个问题的关键挑战是折衷统计模型的复杂性和采集功能优化的途径。在本文中，我们提出并评估了博的两个算法（BOPS）。首先，BOPS-T采用高斯工艺（GP）代理模型与KENDALL内核和基于Thompson采样的Trocable采集功能优化方法，以选择评估的排列顺序。其次，BOPS-H采用GP代理模型与锦葵内核和启发式搜索方法，以优化预期的改进采集功能。理论上，从理论上分析BOPS-T的性能，以表明他们的遗憾增加了亚线性。我们对多种综合和现实世界基准测试的实验表明，BOPS-T和BOPS-H均优于组合空间的最先进的BO算法。为了推动未来的对这个重要问题的研究，我们为社区提供了新的资源和现实世界基准。

我们考虑使用昂贵的功能评估（也称为实验）的黑匣子多目标优化（MOO）的问题，其中目标是通过最小化实验的总资源成本来近似真正的帕累托解决方案。例如，在硬件设计优化中，我们需要使用昂贵的计算模拟找到权衡性能，能量和面积开销的设计。关键挑战是选择使用最小资源揭示高质量解决方案的实验顺序。在本文中，我们提出了一种基于输出空间熵（OSE）搜索原理来解决MOO问题的一般框架：选择最大化每单位资源成本的信息的实验，这是真正的帕累托前线所获得的信息。我们适当地实例化了OSE搜索的原理，以导出以下四个Moo问题设置的高效算法：1）最基本的EM单一保真设置，实验昂贵且准确; 2）处理EM黑匣子约束}在不执行实验的情况下无法进行评估; 3）离散的多保真设置，实验可以在消耗的资源量和评估准确度时变化; 4）EM连续保真设置，其中连续函数近似导致巨大的实验空间。不同综合和现实世界基准测试的实验表明，基于OSE搜索的算法在既有计算效率和MOO解决方案的准确性方面改进了最先进的方法。